Khu, châu, huyện và kỳ tự trị được thành lập sau khi Đảng Cộng sản Trung Quốc giành được chính quyền và học tập theo mô hình của Liên Xô. Đầu tiên, danh pháp của các khu vực tự trị này còn chưa thống nhất, và tên gọi khu tự trị xuất hiện cả ở cấp tỉnh, địa khu, huyện và hương. Cuối cùng tên gọi thống nhất như ngày nay.

Khu tự trị đầu tiên được thành lập là Nội Mông Cổ, được tổ chức trên các khu vực do đảng cộng sản kiểm soát vào năm 1947, hai năm trước khi thành lập Cộng hòa Nhân dân Trung Hoa. Tân Cương được chuyển đổi từ một tỉnh thành một khu tự trị vào năm 1955. Quảng Tây và Ninh Hạ vào năm 1957, và Khu tự trị Tây Tạng chính thức thành lập vào năm 1965.